"""
数据计算-flatMap方法
功能：将每个元素转换为一个新的集合，然后将这些集合合并成一个集合
应用场景：数据清洗，数据转换，数据拆分
解除嵌套
"""
from pyspark import SparkConf, SparkContext
import os
os.environ['PYSPARK_PYTHON'] = "D:/dev/python/python310/python.exe"
conf = SparkConf().setMaster("local[*]").setAppName("flatMap")
sc = SparkContext(conf=conf)
# 创建 RDD
rdd = sc.parallelize(["hello world", "hello spark", "hello scala"])
# flatMap 方法
# flatMap 方法可以将数据源中的每一个元素进行指定规则的转换
# 并将这些集合合并成一个集合
rdd2 = rdd.map(lambda x: x.split(" "))
rdd3 = rdd.flatMap(lambda x: x.split(" "))

print(rdd2.collect())
print(rdd3.collect())
sc.stop()